标签：scaling law
-
数据质量与 scaling law 的交互：高质量数据等效于几倍规模「好数据值几倍数据量」不是修辞而是可测量的量：这篇把质量因子嵌进 Chinchilla 式损失函数，解释过滤与去重如何移动 scaling 曲线的截距而非斜率，并用数据受限 scaling law 定量讨论重复数据的边际收益。
-
Chinchilla 定律：token 数与参数量的最优配比是怎么算出来的Chinchilla 用 400 个模型拟合出损失关于参数量 N 与数据量 D 的显式函数，再约束在 FLOPs 预算下求最优配比，得到 N_opt 与 D_opt 都正比于 C^0.5 的结论。这篇把这套计算从头推一遍，并讨论为什么如今的主流模型都在"故意超配数据"。
-
预训练语料配比：代码数据为什么有用网页、代码、数学、多语言各占多少不是拍脑袋，配比本身服从可测量的 scaling 规律。这篇推导混合数据的损失分解，盘点代码数据提升推理能力的证据链，以及 DoReMi 这类自动配比方法的原理与局限。